Agentic Share-of-Search: A Multi-Agent AI System for Competitive Decision-Making in LLM-Mediated E-Commerce
面向 LLM 电商的 Agentic 可见份额测量与竞争诊断系统
🧭 多 Agent 竞争情报 · ASoS 指标 ★ 深度解读
Georgia Institute of Technology
提出 ASoS 指标与多 Agent 系统,测量并诊断卖家在 LLM 生成式推荐中的可见性差距
📌 工作参考价值(4 点)
- 借鉴 ASoS 指标设计:用 rank-discounted share 衡量商品/店铺在 LLM 回答中的可见份额,分母只计入可解析到竞争集内的零售商;重复提及取最好 rank,多零售商归因均分权重,优先使用回答中的零售商归因而非目录解析。可直接迁移到电商团队监测 ChatGPT/Perplexity/Gemini 回答中的 SKU 级曝光。
- 架构分层可复用:uniform platform client + 可插拔 entity resolver + mock client 注入噪声做离线 CI,能降低多 LLM 平台监控的接入成本与 API 开销。QLoRA 微调小模型做商品名/SKU 归一化(93.7% top-1,不到 1% frontier API 成本)适合作为实体链接的轻量方案。
- 诊断任务选型 ReAct 而非 AutoGen/LangGraph:单轮 RCA/归因场景下 ReAct 的 thought–act–observe 循环足够,可审计 trace 且避免对话状态机开销;priority score = |r| × gap 按业务影响排序,比按异常度排序更贴近 merchandising 分析师的决策逻辑。
- 原型验证用 synthetic signal ablation:在缺乏因果 ground truth 时,通过随机消融信号看诊断 agent 是否 top-1 恢复,并报告无条件/条件精度与随机基线对比,可作为 agent 诊断能力可行性验证的轻量模板;但业务落地仍需人工审核和干预实验闭环。